MetaStrategy: Generative Ranking with Executable LLM Strategies
元策略：基于可执行LLM策略的生成式排序
🧭 LLM策略生成· Generator-Evaluator架构 ★ 深度解读
Taobao & Tmall Group of Alibaba · Wuhan University · The University of Hong Kong · University of Cambridge · Alibaba
用LLM生成结构化排序策略而非物品序列，通过生产路径重放与蒸馏实现零延迟个性化排序
📌 工作参考价值（4 点）
- LLM生成策略而非列表：用带类型JSON控制多目标权重、内容类型偏好等，通过编译器注入现有Generator，避免直接生成物品序列带来的集成难题。电商/广告混合流可直接复用这一思路，将LLM作为策略层，不侵入精排队列。
- 生产路径重放训练：重放真实请求日志，让LLM策略与现有Generator在同一Evaluator下原子竞争，反馈信号来自当前生产栈而非用户模拟器。推荐系统可借鉴此方法，低成本获得高保真离线RL训练环境。
- 自竞争课程缓解策略坍缩：将LLM频繁输出的编译后策略冻结为新Generator加入竞争池，迫使策略持续探索。在推荐、广告出价策略优化中，可照搬此机制防止模型退化为少数极端组合。
- 评估器路由的奖励增强在线蒸馏：对每个请求，用Evaluator选择最优教师，结合教师token差异与自身GE奖励进行蒸馏，将4B策略压缩至0.8B。多目标排序模型压缩中，可按此方式保留教师间的互补性与在线分布匹配。